No-reference video quality assessment model based on artifact metrics for digital transmission applications

Tese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2017.Um dos principais fatores para a redução da qualidade do conteúdo visual, em sistemas de imagem digital, são a presença de degradações introduzidas durante as etapas de processamento de sinais. Contudo, medir a qualidade de um vídeo implica em comparar direta ou indiretamente um vídeo de teste com o seu vídeo de referência. Na maioria das aplicações, os seres humanos são o meio mais confiável de estimar a qualidade de um vídeo. Embora mais confiáveis, estes métodos consomem tempo e são difíceis de incorporar em um serviço de controle de qualidade automatizado. Como alternativa, as métricas objectivas, ou seja, algoritmos, são geralmente usadas para estimar a qualidade de um vídeo automaticamente. Para desenvolver uma métrica objetiva é importante entender como as características perceptuais de um conjunto de artefatos estão relacionadas com suas forças físicas e com o incômodo percebido. Então, nós estudamos as características de diferentes tipos de artefatos comumente encontrados em vídeos comprimidos (ou seja, blocado, borrado e perda-de-pacotes) por meio de experimentos psicofísicos para medir independentemente a força e o incômodo desses artefatos, quando sozinhos ou combinados no vídeo. Nós analisamos os dados obtidos desses experimentos e propomos vários modelos de qualidade baseados nas combinações das forças perceptuais de artefatos individuais e suas interações. Inspirados pelos resultados experimentos, nós propomos uma métrica sem-referência baseada em características extraídas dos vídeos (por exemplo, informações DCT, a média da diferença absoluta entre blocos de uma imagem, variação da intensidade entre pixels vizinhos e atenção visual). Um modelo de regressão não-linear baseado em vetores de suporte (Support Vector Regression) é usado para combinar todas as características e estimar a qualidade do vídeo. Nossa métrica teve um desempenho muito melhor que as métricas de artefatos testadas e para algumas métricas com-referência (full-reference).The main causes for the reducing of visual quality in digital imaging systems are the unwanted presence of degradations introduced during processing and transmission steps. However, measuring the quality of a video implies in a direct or indirect comparison between test video and reference video. In most applications, psycho-physical experiments with human subjects are the most reliable means of determining the quality of a video. Although more reliable, these methods are time consuming and difficult to incorporate into an automated quality control service. As an alternative, objective metrics, i.e. algorithms, are generally used to estimate video quality quality automatically. To develop an objective metric, it is important understand how the perceptual characteristics of a set of artifacts are related to their physical strengths and to the perceived annoyance. Then, to study the characteristics of different types of artifacts commonly found in compressed videos (i.e. blockiness, blurriness, and packet-loss) we performed six psychophysical experiments to independently measure the strength and overall annoyance of these artifact signals when presented alone or in combination. We analyzed the data from these experiments and proposed several models for the overall annoyance based on combinations of the perceptual strengths of the individual artifact signals and their interactions. Inspired by experimental results, we proposed a no-reference video quality metric based in several features extracted from the videos (e.g. DCT information, cross-correlation of sub-sampled images, average absolute differences between block image pixels, intensity variation between neighbouring pixels, and visual attention). A non-linear regression model using a support vector (SVR) technique is used to combine all features to obtain an overall quality estimate. Our metric performed better than the tested artifact metrics and for some full-reference metrics

Reconhecimento de faces via PCA: análise de desempenho

With the augment of criminal activities as bank robbery, kidnapping, etc., the needs of identifying a person in a safe manner became indispensable. Several algorithms have been proposed with the aim of resolving some of the challenges found in the retrieval systems as pose, illumination, age and facial expression effects. A very well diffused method in face recognition is the PCA - Principal Component Analysis, proposed by Turk and Pentland in 1991. The PCA method has as the main goal to seek the principal components of faces distribution, which means, the eigenvectors of the covariance matrix of the face set, where each eigenvector represents the variation among the faces (auto faces) that can be seen as a feature set. This work dedicates to the performance of the PCA method in face retrieval, taking into consideration the use of different poses, facial expression and illumination effects. The PCA is also evaluated when the query face has some of its features modified (i.e. noise, occlusion, cutting, etc). An analysis is done taking into consideration how these modified features could change the retrieval results, besides the illumination and poses influence. The performance of PCA method is also evaluated considering which ones and the quantity of eigenvalues to be selected by the algorithm, with the aim of reaching good retrieval results. With the aim of verifying the illumination problems, a smooth filter is used in a set of faces and then the PCA method is applied in this set of images considering only those images pieces that have texture and noise presence, derived of the difference between the original and the smoothed image. The main goal is to improve the face retrieval under several illumination conditions.Mestre em Ciência da ComputaçãoCom o aumento das atividades criminosas, como roubos a bancos, seqüestro, etc., a necessidade de identificar uma pessoa de forma mais segura e eficaz tornou-se imprescindível. Vários algoritmos são propostos a fim de resolver alguns desafios encontrados nos sistemas de recuperação, como efeitos de pose, iluminação, efeitos da idade e expressão facial. Um método clássico e vastamente usado no reconhecimento de faces é a análise da componente principal (Principal Component Analysis - PCA) proposto por Turk e Pentland em 1991. O PCA tem como objetivo procurar as componentes principais da distribuição de faces ou seja os autovetores da matriz covariância do conjunto de faces, onde cada autovetor representa a variação entre as faces (autofaces). Os estudos abordados neste trabalho são dedicados ao desempenho do PCA na recuperação de faces, considerando diferentes poses, expressões faciais e iluminação. O PCA é analisado quando a face consulta tem suas características modificadas (por exemplo, ruído, oclusões, recorte, etc.). É feita uma análise de como essas modificações podem alterar os resultados da busca, além da influência da iluminação e da pose na recuperação de face. Também é analisado o desempenho do PCA em relação µa quantidade de autovalores que devem ser selecionados para se obter um bom resultado de recuperação e quais autovalores escolher. No problema de iluminação um filtro de suavização é usado em um conjunto de faces e, posteriormente, o PCA é aplicado na parte da imagem que contém as texturas, os detalhes e os ruídos, oriundos da diferença da imagem original e da imagem suavizada. O objetivo é melhorar a recuperação de face sob as mais variadas condições de iluminação